When Agents Slow Down: Understanding LLM Agents' Test-Time Strategies via Elo-per-token Analysis
当智能体减速：通过每 token Elo 分析理解 LLM 智能体的测试时策略
🧭 Agent 测试时计算缩放分析
UC Berkeley · University of Washington · Princeton University · Bespoke Labs
提出 Elo-per-token 分析量化 LLM Agent 测试时计算缩放，发现边际收益递减且拆分并行预算更优
📌 工作参考价值（4 点）
- 对搜索/推荐 Agent 的多步推理或工具调用，可以用 Elo-per-token 曲线监控 token 投入的边际收益，而不是只看最终指标；在边际收益低于独立采样参考线时及时停止或调整策略。
- 独立采样参考线是简单有效的 baseline：如果 Agent 的规划、反思、工具调用不能稳定跑赢重复采样，说明额外复杂度没有带来 token 效率，可考虑简化 Agent 流程或增加采样并行度。
- 利用 scaling inflection point 分配长任务预算：将总 token 预算拆成多个并行 sessions 可能比一个超长 session 获得更高 Elo，对线上高并发 Agent 服务的请求拆分和成本控制有直接指导意义。
- Bradley-Terry 聚合跨任务分数排序的方法可以迁移到电商多指标评估，处理不同 reward 尺度下的成对比较，适合离线评测 Agent 生成物品文案、搜索 query 等开放任务。